（来源：上观新闻）
洛杉矶👩⚕️😴工程师兼科技☣投资人B📄en Poul📉adian表💏🍉示： 所有人都🇸🇷💐在谈论🇩🇴石油，但我认为🕌世界真正🚙🥢短缺的是词元T🦋🛂oken🤤。这一评价触及💑了问题的核心：微😏软在W👯♂️💃ord中拥有🦜十五年的AI集成🇶🇦经验，而🇧🇶Anthr🇿🇲🇫🇰opic第一次进🙁入这个应用🧰，就在核心功👨👩👦👦能上超越🇮🇪📅了原生选手🏸🇸🇬。你的R🔥SU（股⛽🚠票）按季度归🇸🇦🇪🇪属🇫🇴。
目前尚不⏪🦢清楚微软这款1️⃣🖐二区三四五区自研 C🛎law 会*️⃣😖采用本地👨🎤🇹🇬运行模式，还是仅📕😟吸纳 OpenC🇦🇫⤵law 🦘支持者青睐🦴的部分其他功能🥎🙇♀️。对此，你怎么🎣看？⚓🤛二区三四五区。让我们用🏑一个简化示例🇴🇲🐠说明，假设训练🇨🇭🇬🇭语料包含以下词🚙📝汇及出现频率： 🌤🍤“hug🐆”：10次📒🌭 “pug🦓🇲🇾”：5次 “⏭pun”：🔩⚛12次 “b🧢un”：4次 🤝“hugs”：5👩🎤🦀次 第一步：🎌🤢将所有词🏛🍶拆分为字符，✋添加结束🇫🇷符 “hug”🔠 → “h u🎑 g ”😳 “pug”👿🐠 → “p u 🌰g ” “👱♀️🏃♀️pun” →🈲 “p u n 🤡” “bu💴🇬🇫n” → “b💑🤢 u n 🇼🇸🇧🇦” “hugs👡二区三四五区” → “🚥⌚h u g 🔨🥓s ” 初始词🇸🇸汇表仅包🐲含基础字符：📀🔊{b, ☦g, h, n,👌🇩🇲 p, s, 🔦u, } 第二步🇲🇦：统计👓相邻字符🛤对的出现频率 ℹ“u g”：1🕌5次（来自“h👩⚖️ug”🇰🇭🐩的10次 + 🇮🇹🇸🇴“hugs”◀的5次） “u⚱ n”👘：16次🍌（来自“p🌡un”的12次 🦵🇸🇿+ “b🇵🇦un”的4🕯🌥次） “p u”🌮🏙：17🦷次（来☠♻自“pug”的5🚠💇次 +🔷🇸🇷 “p😋📕un”的12🧷次） 🔒第三步：合并最高⚽➡频字符对 假⛑设“p u😅🧶”频率最高（🙈17次🔧🏪），创👨🏭建新符号“p🥀u”，👼 词汇表⛅✏扩展为：{b, 🇧🇯👩👦g, h, 🌌🇮🇩n, p, 🚤s, u, ,🚶 pu}👨🎤🏦 第四步：迭代重♿♻复 继续统计🚝新语料中的字符对🔊🇨🇵频率，合并下🕤🌮一个最高频对，➕🦄直到达到预🧚♂️二区三四五区设的词汇表🇯🇲二区三四五区大小（如G🇼🇫PT-2为⚠🇸🇳50,257个t🚄🎟oken）🔧🛹。
